High-quality traffic flow generation is the core module in building simulators for autonomous driving. However, the majority of available simulators are incapable of replicating traffic patterns that accurately reflect the various features of real-world data while also simulating human-like reactive responses to the tested autopilot driving strategies. Taking one step forward to addressing such a problem, we propose Realistic Interactive TrAffic flow (RITA) as an integrated component of existing driving simulators to provide high-quality traffic flow for the evaluation and optimization of the tested driving strategies. RITA is developed with fidelity, diversity, and controllability in consideration, and consists of two core modules called RITABackend and RITAKit. RITABackend is built to support vehicle-wise control and provide traffic generation models from real-world datasets, while RITAKit is developed with easy-to-use interfaces for controllable traffic generation via RITABackend. We demonstrate RITA's capacity to create diversified and high-fidelity traffic simulations in several highly interactive highway scenarios. The experimental findings demonstrate that our produced RITA traffic flows meet all three design goals, hence enhancing the completeness of driving strategy evaluation. Moreover, we showcase the possibility for further improvement of baseline strategies through online fine-tuning with RITA traffic flows.
translated by 谷歌翻译
求解部分微分方程(PDE)是物理,生物学和化学领域的重要研究手段。作为数值方法的近似替代方法,Pinn受到了广泛的关注,并在许多领域发挥了重要作用。但是,Pinn使用完全连接的网络作为其模型,在时间和空间中,其合适能力和有限的外推能力有限。在本文中,我们提出了用于求解图形神经网络基础的部分微分方程的phygnnet,该方程由编码器,处理器和解码器块组成。特别是,我们将计算区域划分为常规网格,在网格上定义部分差分运算符,然后构建PDE损失以使网络优化以构建Phygnnet模型。更重要的是,我们对汉堡方程和热方程式进行比较实验以验证我们的方法,结果表明,与PINN相比,我们的方法在时间和空间区域具有更好的拟合能力和外推能力。
translated by 谷歌翻译
持续学习需要与一系列任务的逐步兼容性。但是,模型体系结构的设计仍然是一个悬而未决的问题:一般而言,以一组共享的参数学习所有任务都受到任务之间的严重干扰;使用专用参数子空间学习每个任务时,受到可扩展性的限制。在这项工作中,我们从理论上分析了在不断学习中学习可塑性和记忆稳定性的概括错误,这可以在任务分布之间的(1)差异,(2)损失景观和(3)参数的覆盖率之间的差异。空间。然后,受到强大的生物学学习系统的启发,该系统通过多个平行的隔室处理顺序体验,我们建议将小型持续学习者(COSCL)的合作作为持续学习的一般策略。具体而言,我们介绍了一个架构,具有固定数量的较窄子网络,以并联学习所有增量任务,这可以自然地通过改善上限的三个组件来减少两个错误。为了增强这一优势,我们鼓励通过惩罚其功能表示的预测差异来合作这些子网络。有了固定的参数预算,COSCL可以将各种代表性的持续学习方法提高较大的利润率(例如,CIFAR-100-SC最高10.64%,CIFAR-100-RS为9.33%,CUB-200-100-100-100-100-100-100-100-100-100-100-100-100-100- 2011年和6.72%的小象征)并实现了新的最新性能。
translated by 谷歌翻译
持续学习旨在从动态数据分布中学习一系列任务。如果不访问旧培训样本,难以确定的旧任务从旧任务转移,这可能是正面或负面的。如果旧知识干扰了新任务的学习,即,前瞻性知识转移是消极的,那么精确地记住旧任务将进一步加剧干扰,从而降低持续学习的性能。相比之下,通过调节学习触发的突触膨胀和突触收敛,生物神经网络可以积极忘记与新经验的学习冲突的旧知识。灵感来自于生物积极的遗忘,我们建议积极忘记限制新任务的学习以努力学习的旧知识。在贝叶斯持续学习的框架下,我们开发了一种名为积极遗忘的新方法,突触扩张 - 收敛(AFEC)。我们的方法动态扩展参数以了解每项新任务,然后选择性地结合它们,这与生物积极遗忘的底层机制正式一致。我们广泛地评估AFEC在各种持续的学习基准上,包括CIFAR-10回归任务,可视化分类任务和Atari加强任务,其中Afec有效提高了新任务的学习,并在插头中实现了最先进的性能 - 游戏方式。
translated by 谷歌翻译
我们介绍了一个名为Abess的新图书馆,该库实现了一个统一的框架,这些框架是解决多样化的机器学习问题,例如线性回归,分类和主要组件分析。特别是,在线性模型下,Abess认证在多项式时间内获得最佳解决方案。我们的有效实现使Abess能够快到或什至20倍的最佳选项选择问题的解决方案比现有竞争变量(模型)选择工具箱快20倍。此外,它支持常见变体,例如最佳组子集选择和$ \ ell_2 $正规化的最佳选项选择。库的核心在C ++中编程。为了易于使用,Python库设计用于便利地与Scikit-Learn集成,并且可以从Python库索引中安装。此外,还可以在综合的R存档网络上获得用户友好的R库。源代码可在以下网址获得:https://github.com/abess-team/abess。
translated by 谷歌翻译
This paper studies reinforcement learning (RL) in doubly inhomogeneous environments under temporal non-stationarity and subject heterogeneity. In a number of applications, it is commonplace to encounter datasets generated by system dynamics that may change over time and population, challenging high-quality sequential decision making. Nonetheless, most existing RL solutions require either temporal stationarity or subject homogeneity, which would result in sub-optimal policies if both assumptions were violated. To address both challenges simultaneously, we propose an original algorithm to determine the ``best data chunks" that display similar dynamics over time and across individuals for policy learning, which alternates between most recent change point detection and cluster identification. Our method is general, and works with a wide range of clustering and change point detection algorithms. It is multiply robust in the sense that it takes multiple initial estimators as input and only requires one of them to be consistent. Moreover, by borrowing information over time and population, it allows us to detect weaker signals and has better convergence properties when compared to applying the clustering algorithm per time or the change point detection algorithm per subject. Empirically, we demonstrate the usefulness of our method through extensive simulations and a real data application.
translated by 谷歌翻译
细粒度的动作识别是计算机视觉中的一项具有挑战性的任务。由于细粒的数据集在空间和时间空间中具有较小的类间变化,因此细粒度的动作识别模型需要良好的时间推理和属性动作语义的歧视。利用CNN捕获高级时空特征表示能力以及变压器在捕获潜在语义和全球依赖性方面的建模效率,我们研究了两个结合CNN视觉骨干和变压器编码器以增强良好粒度动作识别的框架:1)基于编码器学习潜在的时间语义,以及2)多模式视频文本交叉编码器,以利用其他文本输入并学习视觉语义和文本语义之间的交叉关联。我们的实验结果表明,我们的变压器编码器框架有效地学习潜在的时间语义和跨模式关联,并且比CNN视觉模型改善了识别性能。我们在firgym基准数据集上实现了新的最先进的性能,用于两种拟议的架构。
translated by 谷歌翻译
由于红外图像的背景和噪音复杂,红外小目标检测是计算机视觉领域中最困难的问题之一。在大多数现有研究中,语义分割方法通常用于取得更好的结果。每个目标的质心是根据分割图作为检测结果计算的。相比之下,我们提出了一个新颖的端到端框架,用于在本文中针对小型目标检测和分割。首先,通过将UNET用作保持分辨率和语义信息的主链,我们的模型可以通过附加简单的无锚头来实现比其他最先进方法更高的检测精度。然后,使用金字塔池模块来进一步提取特征并提高目标分割的精度。接下来,我们使用语义分割任务,这些任务更加关注像素级特征,以帮助对象检测的训练过程,从而提高了平均精度,并允许模型检测一些以前无法检测到的目标。此外,我们开发了用于红外小目标检测和分割的多任务框架。与复合单任务模型相比,我们的多任务学习模型在保持准确性的同时,将复杂性降低了近一半,并将推断加速近两次。代码和模型可在https://github.com/chenastron/mtunet上公开获得。
translated by 谷歌翻译
如何培训理想的老师进行知识蒸馏仍然是一个悬而未决的问题。人们普遍观察到,将教师最小化经验风险不一定会产生表现最好的学生,这表明教师网络培训中的共同实践与蒸馏目标之间的基本差异。为了填补这一空白,我们提出了一个新颖的以学生为导向的教师网络培训框架Soteacher,这是受到最新发现的启发,即学生的表现取决于教师近似培训样本的真正标签分布的能力。从理论上讲,我们确定(1)具有适当评分规则的经验风险最小化器,如果假设函数是局部lipschitz在训练样本周围连续的,则可以证明训练数据的真实标签分布; (2)当使用数据扩展进行培训时,需要一个额外的约束,使最小化器必须在同一培训输入的增强视图中产生一致的预测。鉴于我们的理论,Soteacher通过结合Lipschitz正则化和​​一致性正则化来翻新经验风险最小化。值得一提的是,Soteacher几乎适用于所有教师学生的建筑对,在教师的培训时不需要对学生的先验知识,并且几乎没有任何计算开销。两个基准数据集的实验证实,Soteacher可以在各种知识蒸馏算法和教师成对的各种知识蒸馏算法中显着和一致地提高学生的绩效。
translated by 谷歌翻译
We propose P4E, an identify-and-localize event detection framework that integrates the best of few-shot prompting and structured prediction. Our framework decomposes event detection into an identification task and a localization task. For the identification task, which we formulate as multi-label classification, we leverage cloze-based prompting to align our objective with the pre-training task of language models, allowing our model to quickly adapt to new event types. We then employ an event type-agnostic sequence labeling model to localize the event trigger conditioned on the identification output. This heterogeneous model design allows P4E to quickly learn new event types without sacrificing the ability to make structured predictions. Our experiments demonstrate the effectiveness of our proposed design, and P4E shows superior performance for few-shot event detection on benchmark datasets FewEvent and MAVEN and comparable performance to SOTA for fully-supervised event detection on ACE.
translated by 谷歌翻译